iT邦幫忙

第 12 屆 iThome 鐵人賽

DAY 25
0
AI & Data

AWS 數據處理與分析實戰系列 第 25

Day 25 透過 Data Catalog 連接 Redshift

  • 分享至 

  • xImage
  •  

Data Catalog 不只可以使用 S3 作為資料的存取點,也可以使用既有的資料庫作為資料的存取點,今天要來介紹如何將 Redshift 作為 Data Catalog 的資料存取點,讓 ETL 工具可以直接存取資料

  1. 在開始前我們先設定 Redshift 所使用的 Security Group,請在 Inbound rules 中加入以下規則,讓 Glue 不會受到 Security Group 的阻擋

https://ithelp.ithome.com.tw/upload/images/20201009/201292367irFmnjQJ1.png

  1. 在 Regshift 所在的 VPC 設定 S3 Endpoint

https://ithelp.ithome.com.tw/upload/images/20201009/20129236tbK7JtnC6B.png

  1. Endpoint 的設定中,Service Name 請選擇 S3,VPC 請選擇 Redshift 所在的 VPC,Configure route tables 請勾選 Redshift 所在 Subnet 所使用的 Route Table,或全部勾選

https://ithelp.ithome.com.tw/upload/images/20201009/20129236gklU3Hwmvp.png

  1. 接下來就可以回到 Glue 設定 Redshift 的連接

https://ithelp.ithome.com.tw/upload/images/20201009/20129236YHcqkPIncr.png

  1. Connection type 請選擇 Amazon Redshift

https://ithelp.ithome.com.tw/upload/images/20201009/20129236X1r5TL28mV.png

  1. 接下來選擇 Cluster,選擇我們在昨天所創建的 Redshift,並填入 Databace name、Username、Password,如果在這一步驟有跳出錯誤,可能是步驟 1 的 Security Group 設定有誤,可以從新確認一次在重新設定連線
    設定完成後點選下一步後就可以直接點選 Finish

https://ithelp.ithome.com.tw/upload/images/20201009/20129236Ej0f5lp4zT.png

  1. 創建完成後可以進行連線測試

https://ithelp.ithome.com.tw/upload/images/20201009/20129236BYXXrXGD3q.png

  1. IAM role 的部分選擇 Day 6 所創建的 ITGlue,就可以執行測試,測試連線會需要一點點的時間

https://ithelp.ithome.com.tw/upload/images/20201009/20129236CcCQeDpJuP.png

  1. 測試成功會顯示 connected successfully,如果失敗可能是步驟 2 的 Endpoint 設定有誤,可以從新確認一次後再重新執行連線測試

https://ithelp.ithome.com.tw/upload/images/20201009/20129236jrfxBcdkA4.png


上一篇
Day 24 Redshift 教學
下一篇
Day 26 持續同步 S3 資料到 Redshift - Part 1
系列文
AWS 數據處理與分析實戰30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言